Vợ ông là bà Huỳnh Thị Nỉ, người miền Nam tham gia công tác phụ nữ [3].

Ông bà có bốn người con. Con trai đầu là Phạm Hoàng Hưng, Phó Giám đốc Trung tâm PTPL Hàng hóa Xuất nhập khẩu thuộc Tổng cục Hải quan Việt Nam.Con trai thứ hai là Phạm Hoàng Hà nguyên Đại biểu HĐND TP Hồ Chí Minh, Chủ tịch UBND Quận 3 TP Hồ Chí Minh, Giám đốc Sở Thương mại TP Hồ Chí Minh, Ủy viên Ban thường vụ tỉnh ủy Bình dương, Phó Chủ tịch UBND tỉnh Bình Dương, hiện đang giữ chức Chủ tịch Hội đồng thành viên Tổng công ty Lương thực Miền nam.[4]Các con gái là Phạm Mai Hồng, Đại tá chuyên viên Cục Chính sách Bộ Công an và Phạm Mai Hương công tác ngành du lịch.